Leong telah menyertai Persekutuan Polis Malaya pada 1 Disember tahun 1950 sebagai Inspektor Percubaan dan telah menjalani latihan asas di Pusat Latihan Polis di Jalan Gurney, Kuala Lumpur. Oleh kerana beliau menyertai pasukan polis semasa tempoh Darurat Malaya, beliau secara semula telah mengambil bahagian dalam usaha menentang Komunis. Beliau menyertai Pasukan Medan Polis pada Disember 1951 sehingga tahun 1953.

Atas sebab kecermelangan dalam perkhidmatan beliau, Leong telah dipindahkan ke Cawangan Khas Kuantan pada 1 April tahun 1954. Pada 1 Februari tahun 1956, Leong telah dinaikkan pangkat kepada jawatan Penolong Penguasa Polis dan ditempatkan di Cawangan Khas Perak. Leong telah terlibat dalam beberapa operasi membanteras Parti Komunis Malaya seperti Operasi Halia, Projek Jukebox dan Projek Jujubes.

Pada 1 Mac 1968, Leong telah ditempatkan di Cawangan Khas Sarawak dan berhadapan dengan Pertubuhan Komunis Sarawak. Selain itu, beliau juga merupakan pengasas untuk Pasukan F, sebuah pasukan petugas penyamaran yang paling elit di Cawangan Khas pada Mac 1971. Beliau memegang pangkat Superintendan Polis ketika itu.

Leong telah dinaikkan pangkat kepada Penolong Kanan Pesuruhjaya Polis pada akhir tahun 1978 dan telah berkhidmat sebagai timbalan pengarah (Operasi) untuk Cawangan Khas Bukit Aman. Beliau meneruskan perkhidmatan disitu sehinggalah beliau bersara pada 10 November tahun 1984.